338. Орлов А.И. Объекты нечисловой природы. – Журнал «Заводская лаборатория». 1995. Т.61. No.3, с.43-52.

ОБЪЕКТЫ НЕЧИСЛОВОЙ ПРИРОДЫ

	Статистика объектов нечисловой природы - это направление в математической статистике, в котором в качестве статистических данных (результатов наблюдений) рассматриваются объекты нечисловой природы. Так называют объекты, которые нецелесообразно описывать числами, в частности элементы нелинейных пространств. Примерами являются бинарные отношения (ранжировки, разбиения, толерантности и др.), результаты парных и множественных сравнений, множества, нечеткие множества, измерение в шкалах, отличных от абсолютных. Этот перечень примеров не претендует на законченность. Он складывался постепенно в соответствии с исследованиями в области статистики объектов нечисловой природы.
	Обьекты нечисловой природы широко используются в теоретических и прикладных исследованиях по проблемам управления, в частности управления качеством продукции, в технических науках, медицине, социологии, экономике, психологии и т.д., а также практически во всех отраслях народного хозяйства. Это обосновывает целесообразность дальнейшего развития рассматриваемого математико-статистического аппарата.
 	В журнале " Заводская лаборатория " опубликовано два обзора [1,2] и несколько десятков статей ([3-33] и др.) по различным вопросам статистики объектов нечисловой природы. Однако литературы, в которой бы разъяснялись основные понятия этого направления анализа статистических данных, явно не хватает. Данный обзор и посвящен первоначальному знакомству с основными видами объектов нечисловой природы.

Основные понятия репрезентативной теории измерений  

	Начнем с рассмотрения конкретного социологического исследования. Обсуждение можно вести в терминах экспертных оценок. Тогда вместо сравнения математики и физики n экспертов (а не выпускников школ) оценивают по конкурентноспосбности на мировом рынке, например, две марки стали. Однако в настоящее время социологические исследования более привычны, чем экспертные.
	При изучении привлекательности различных профессий для выпускников новосибирских школ [34] был составлен список из 30 профессий. Опрашиваемых просили оценить каждую из этих профессий одним из баллов 1,2,...,10 по правилу: чем больше нравится, тем выше балл. Для получения социологических выводов необходимо было дать единую оценку привлекательности определенной профессии для совокупности выпускников школ. В качестве такой оценки в работе [34] использовалось среднее арифметическое баллов, выставленных профессии опрошенными школьниками. В частности, физика получила средний балл 7.69, а математика - 7.50. В соответствии с логикой [34], физика более предпочтительна, чем математика.
	Однако было отмечено [35], что этот вывод противоречит данным работы [36], согласно которым ленинградские школьники средних классов больше любят математику, чем физику. Обсудим одно из возможных объяснений этого противоречия, которое заключается в неадекватной методике обработки данных, примененных в работе [34].
	Дело в том, что баллы 1,2,...,10 введены исследователем-социологом, т.е. субъективно. Если одна профессия оценена в 10 баллов, а вторая - в 2, то из этого нельзя заключить, что первая ровно в 5 раз привлекательней другой.Другой коллектив социологов мог бы принять иную систему баллов, например 1,4,9,16,...,100. Естественно предположить , что упорядочивание профессий по превликательности, присущее школьникам, не зависит от того, какой системой баллов им предложит пользоваться социолог. Раз так, то распределение профессий по градациям десятибальной системы не изменится, если перейти к другой системе баллов с помощью строго возрастающей функции .Если -ответы n выпускников школ, касающихся математики, а -физики, то после перехода к новой системе баллов ответы относительно математики будут иметь вид ,а относительно физики - .
	Пусть единая оценка привлекательности профессии вычисляется с помощью функции. . Какие требования естественно наложить на функцию , чтобы полученные с ее помощью выводы не зависели от того, какой именно системой баллов пользовался социолог ?
	Единая оценка вычислялась для того, чтобы сравнивать профессии по привлекательности. Поэтому потребуем устойчивости результата сравнения: неравенство

            (1)
справедливо тогда и только тогда, когда справедливо неравенство
    ,           (2)
причем равносильность неравенств (1) и (2) имеется при любых  и . Какие устойчивы относительно сравнения? Ответра этот вопрос был дан в работе [35]. В частности, оказалось, что средним арифмитическим, как в работе [34], пользоваться нельзя, а членами вариационного ряда (и только ими) - можно.
	Выше показан переход  от социологической задачи к математической (подробнее см. [37, § 3.1], [38]), а именно, к одной из частных постановок проблемы адекватности в репрезентативной теории измерения [39, 40]. Изложим основные понятия этой теории в модификации , данной в работе [ 37 гл. 3 ]. 
	Исходным понятием является совокупность Ф={}. допустимых преоброзований шкалы (обычно Ф- группа),. Алгоритм обработки данных а , т.е. функция .(А-множество возможных результатов работы алгоритма) называется в шкале совокупностью допустимых преобразований Ф адекватным [ 37, c. 97], если
       (3)
для всех , i=1,...,n и всех Ф. Таким образом, теорию измерений рассматриваем как теорию инвариантов относительно различных совокупностей допустимых преобразований Ф. Интерес вызывают две задачи: а) дано Ф; какие а из определенного класса удовлетворяют условию (3); б) дан алгоритм а; для каких Ф справедливо условие (3)? Уточнение этих постановок дано в работах [ 37, 41, 42 ]
	Наиболее распространенные шкалы измерения описываются с помощью групп допустимых преобразований Ф. Если Ф состоит из всех взаимнооднозначных преобразований , то измерения проводятся в шкале наименований. Для порядковой шкалы Ф состоит из всех строго возрастающих преобразований. по этим двум шкалам измеряются качественные признаки.
	Для шкалы интервалов Ф={ах+b; а>0,}, для шкалы отношений Ф=ах;а>0}, для шкалы разностей Ф={х+b;},для абсолютной шкалы Ф={, По этим четырем шкалам измеряются количественные признаки. В аьсолютной шкале известно начало отсчета и единица измерения, в шкале отношений фиксированно начало , но не единица измерения, в шкале разностей, наоборот, единица измерения фиксирована, а начало отсчета-нет , в шкале интервалов ни то, ни другое не задано.
	Различные свойства шкал, примеры реальных величин, измеряемых по тем или иным шкалам, приведены в работах [37, 39, 40,43].

Бинарные отношения.

	Пусть а: - адекватный алгоритм в шкале наименований. Легко видеть [37,c.109] , что a - есть функция от матрицы B==В(), где
 .        
	Если a: - адекватный алгоритм в шкале порядка, то a есть [37,c.111] функция от матрицы C==C() порядка n x n, где

	Матрицы B и C можно проинтерпретировать в терминах бинарных отношений. Пусть некоторая характеристика измеряется у n объектов , причем  - результат ее измерения у объекта  Тогда матрицы B и C задают бинарные отношения на множестве объектов Q ={}Поскольку бинарное отношение можно рассматривать как подмножество декартова квадрата Q x Q, то любой матрице D = порядка n x n из 0 и 1 соответствует бинарное соотношение R(D), определяемое следующим образом: R(D) тогда и только тогда, когда 1.
	Бинарное отношение R(B) - отношение эквивалентности, т.е. рефлексивное симметричное транзитивное отношение. Оно задает разбиение Q на классы эквивалентности. Два объекта  и  входят в один класс эквивалентности тогда и только тогда, когда .
	Выше показано, как разбиения возникают в результате измерений в шкале наименований. Разбиения могут появляться и непосредственно. Так, при оценке качества промышленной продукции эксперты дают разбиение показателей качества на группы [44]. Для изучения психологического состояния людей их просят разбить предъявленные рисунки на группы сходных между собой [45,46].Аналогичная методика применяется в экспериментальных психологических исследованиях. [47,48].
	Во многих задачах прикладной статистики разбиения получаются "на выходе" (в кластер-анализе) или же используются на промежуточных этапах анализа данных (например, сначала проводят классификацию с целью выделения однородных групп, а затем в каждой группе строят регрессионную зависимость, как в работе [49]).
	Бинарное отношение R(С) задает разбиение Q на классы эквивалентности, между которыми введено отношение строгого порядка. Два объекта  и  входят в один класс тогда и только тогда, когда = 1 и = 1, т.е.  Класс эквивалентности  предшествует классу эквивалентности  тогда и только тогда, когда для любых , имеем , = 1,= 0, т.е.. Такое бинарное отношение в статистике называют ранжировкой со связями [50]; связанными считаются объекты, входящие в один класс эквивалентности. В литературе встречаются и другие названия: линейный квазипорядок [51], упорядочение [52,гл.2], квазисерия [53, с.37]. Если каждый из классов эквивалентности состоит только из одного элемента, то имеем обычную ранжировку (другими словами, линейный порядок).
	Как известно, ранжировки возникают в результате измерений в порядковой шкале. Так, при описанном выше опросе ответ выпускника школы - это ранжировка (со связями) профессий по привлекательности. Ранжировки часто возникают и непосредственно, без промежуточного этапа - приписывания объектам квазичисловых оценок - баллов. Многочисленные примеры тому даны М.Кендэлом [50]. При оценке качества промышленной продукции нормативные методические документы предусматривают использование ранжировок [44].
	Для прикладных областей, кроме ранжировок и разбиений, представляют интерес толерантности, т.е. рефлексивные симметричные отношения [54]. Толерантность - математическая модель для выражения представлений о сходстве (похожести, близости). Разбиения - частный вид толерантностей. Однако в общем случае толерантность не обязана быть транзитивной. Необходимость использования толерантностей показана Э.Борелем при обсуждении физической непрерывности согласно Пуанкаре [55, с.88-91]. Толчок к более подробному изучению толерантностей дали исследования деятельности мозга [56]. Толерантности появляются и в других постановках, например, как результат парных сравнений (см.ниже).
	Напомним, что любое бинарное отношение на конечном множестве может быть описано матрицей из 0 и 1.

Дихотомические данные.

	Это данные , которые могут принимать одно из двух значений (0 или 1), т.е. результаты измерений альтернативного признака. Как уже было показано, измерения в шкале наименований и порядковой шкале приводят к бинарным отношениям, а те могут быть выражены как результаты измерений по нескольким альтернативным признакам, соответствующим элементам матриц, описывающих отношения. Дихотомические данные возникают в прикладных исследованиях и многими иными путями.
	В настоящее время в большинстве стандартов на конкретную продукцию предусмотрен контроль по альтернативному признаку. Обширные теоретические исследования проблем статистического приемочного контроля по альтернативному признаку [57,58]. Основополагающими в этой области являются работы А.Н.Колмогорова [59,60]. Подход советской вероятностно-статистической школы к проблемам качества продукции по альтернативному признаку означает, что единица продукции относится к одной из двух категорий - "годных" или "дефектных", т.е. соответствующих или не соответствующих требованиям стандарта.
	Дихотомические данные - давний объект математической статистики (см., например, [62, гл.33]) Особенно большое применение они имеют в медико-биологических [46] и социологических [63] исследованиях, в которых большинство переменных, интересующих специалистов, не может быть измерено ( в настоящее время!) по количественным шкалам. При этом дихотомические данные зачастую являются более адекватными, чем результаты измерений по методикам, использующим большее число градаций. В частности, психологические тесты типа MMPI [45] используют только дихотомические данные. На них опираются и методы парных сравнений [64].
	Элементарным актом в методике парных сравнений является предъявление эксперту для сравнения двух объектов ( сравнение может проводиться также прибором). В одних постановках эксперт должен выбрать из двух объектов лучший по качеству, в других - ответить, похожи объекты или нет. В обоих случаях ответ эксперта можно выразить одной из двух цифр - 0 или 1. В первой постановке: 0, если лучшим объявлен первый объект; 1 - если второй. Во второй постановке: 0, если объекты похожи, схожи, близки; 1 - в противном случае.
	Подводя итоги изложенному, можно сказать, что рассмотренные выше данные представимы в виде векторов из 0 и 1 ( при этом матрицы, очевидно, могут быть записаны в виде векторов). С.А.Айвазян [65] предлагает "унифицированную форму записи наблюдений", в которой любые виды результатов записываются в виде векторов из 0 и 1. Представляется, что это предложение имеет скорее академический интерес, но во всяком случае можно констатировать, что анализ дихотомических данных необходим во многих прикладных постановках.

Множества

	Совокупность векторов X = () из 0 и 1 размерности n находится во взаимно-однозначном соответствии с совокупностью всех подмножеств множества N = {1, 2, ..., n}. При этом вектору X = () соответствует подмножество N(X)N, состоящее из тех и только из тех i, для которых = 1. Это объясняет, почему изложение вероятностных и статистических результатов, относящихся к анализу данных, являющихся объектами нечисловой природы перечисленных выше видов, велось [37, гл.4] на языке конечных случайных множеств.
	Множества как исходные данные появляются и в иных постановках. Из геологических реалий исходил Ж.Матерон [66], из электротехнических - Н.Н.Ляшенко [67] и др. Случайные множества применялись для описания процесса случайного распространения, например распространения эпидемии или пожара[68, 69, 70] , а также в математической экономике [71]. Много работ связано с изучением случайных геометрических объектов - точек, прямых, кругов, мозаик и т.д. (обзор по состоянию на 1969г. дан а работе [72]). В работе [37, §4.6, §5.6] рассмотрены приложения случайных множеств в теории экспертных оценок и в теории управления запасами и ресурсами.
	Отметим, что реальные объекты можно моделировать случайными множествами как из конечного числа элементов, так и из бесконечного, однако при расчетах на ЭВМ неизбежна дискретизация, т.е. переход к первой из названных возможностей.

Нечеткие множества

	Пусть A - некоторое множество. Подмножество B множества A характеризуется своей характеристической функцией

  				(4)

	Нечеткое подмножество  множества  характеризуется своей функцией принадлежности .. имеет вид (4) при некотором , то  есть обычное (четкое) подмножество A.
	Обычное подмножество можно было бы отождествить с его характеристической функцией. Этого не делают, поскольку для задания функции (в ныне принятом подходе) необходимо сначала задать множество. Нечеткое же подмножество с формальной точки зрения можно отождествить с его функцией принадлежности. Однако термин "нечеткое подмножество" предпочтительнее при построении математических моделей реальных явлений.
	Начало современной теории нечеткости положено статьей Л.А.Заде в 1965г [73]. К настоящему времени по этой теории опубликованы тысячи книг и статей, издается несколько международных журналов, выполнено достаточно много как теоретических, так и прикладных работ. Из публикаций на русском языке, кроме перевода монографии Л.А.Заде, назовем книги С.А.Орловского [75], В.Б.Кузьмина [76],  а также работы [77-80].
	Л.А.Заде рассматривал теорию нечетких множеств как аппарат анализа и моделирования гуманистических систем, т.е. систем, в которых участвует человек [81, с.6]. Его подход "опирается на предпосылку о том, что элементами мышления человека являются не числа, а элементы некоторых нечетких множеств или классов объектов, для которых переход от "принадлежности" к "непринадлежности" не скачкообразен, а непрерывен " [81, с.7]. В настоящее время методы теории нечеткости используются почти во всех прикладных областях, в том числе при управлении качеством продукции и технологическими процессами. Популярный обзор прикладных возможностей теории нечеткостей дан в работах  [43, 82].
	Пусть  и - два нечетких подмножества  с функциями принадлежности и соответственно. Пересечением , произведением , объединением , отрицанием , суммой называются нечеткие подмножества  с функциями принадлежности

 

соответственно.

	Свойства введенных операций над нечеткими множествами и их связь с операциями над обычными множествами обсуждаются в работах [37,43].

Объекты нечисловой природы как статистические данные

	В математической статистике наиболее распространенный объект изучения - выборка  т.е. совокупность результатов наблюдений. В различных областях статистики результат наблюдения - это или число, или конечномерный вектор, или функция... Соответственно проводится деление математической статистики: одномерная статистика, многомерный статистический анализ, статистика временных рядов и случайных процессов... В статистике объектов нечисловой природы в качестве результатов наблюдений рассматриваются объекты нечисловой природы, в частности, перечисленных выше видов - измерения в шкалах, отличных от абсолютной, бинарные отношения, вектора из 0 и 1, множества, нечеткие множества. Выборка может состоять изранжировок и  толерантностей, или  множеств, или  нечетких множеств и т.д.
	Отметим необходимость развития методов статистической обработка "разнотипных данных", обусловленную большой ролью в прикладных исследованиях "признаков смешанной природы" [83]. Речь идет о том, что результат наблюдения состояния объекта зачастую представляет собой вектор, у которого часть координат измерена по шкале наименований, часть - по порядковой шкале, часть - по шкале интервалов и т.д. Статистические методы ориентированы обычно либо на абсолютную шкалу, либо на шкалу наименований (анализ таблиц сопряженности), а потому зачастую непригодны для обработки разнотипных данных. Есть и более сложные модели разнотипных данных, например, когда некоторые координаты вектора наблюдений описываются нечеткими множествами  [43].
	Для обозначения подобных неклассических результатов наблюдений в 1979 г. [84] предложен собирательный термин - объекты нечисловой природы. Термин "нечисловой" означает, что структура [85] пространства, в котором лежат результаты наблюдений, не является структурой действительных чисел, векторов или функций, она вообще не является структурой линейного (векторного) пространства. При расчетах объекты числовой природы, разумеется, изображаются с помощью чисел.
	С целью "стандартизации математических орудий" [85, с.253] целесообразно разрабатывать методы статистического анализа данных, пригодные одновременно для всех перечисленных выше видов результатов наблюдений. Кроме того, в процессе развития прикладных исследований выявляется необходимость использования новых видов объектов нечисловой природы, отличных от рассмотренных выше, например, в связи с развитием статистических методов обработки текстовой информации [86].Поэтому целесообразно ввести еще один вид объектов нечисловой природы - объекты произвольной природы, т.е. элементы множества, на которые не наложено никаких условий (кроме "условий регулярности", необходимых для справедливости доказываемых теорем). Другими словами, в этом случае предполагается, что результаты наблюдений (элементы выборки) лежат в произвольном пространстве . Для получения теорем необходимо потребовать, чтобы  удовлетворяло некоторым условиям, например, было топологическим пространством. Как известно, ряд результатов математической статистики получен именно в такой постановке. Так, при изучении оценок максимального правдоподобия элементы выборки могут лежать в пространстве произвольной природы. Это не влияет на рассуждения, поскольку в них рассматривается лишь зависимость плотности вероятности от параметра. Методы классификации, использующие лишь расстояние между классифицируемыми объектами, могут применяться к совокупностям объектов произвольной природы, лишь бы в пространстве, где они лежат, была задана метрика. Цель статистики объектов нечисловой природы состоит в том, чтобы систематически рассматривать методы статистической обработки данных как произвольной природы, так и представляющих собой указанные выше конкретные виды объектов нечисловой природы, т.е. методы описания данных, оцениванию и проверки гипотез. Взгляд с общей точки зрения позволяет получить новые результаты и в других областях математической статистики.

Использование объектов нечисловой природы при формировании математической модели реального явления.

	Использование объектов нечисловой природы часто порождено желанием обрабатывать более объективную, более освобожденную от погрешностей информацию. "Как показали многочисленные опыты, человек более правильно ( и с меньшими затруднениями) отвечает на вопросы качественного например, сравнительного, характера, чем количественного. Так, ему легче сказать, какая из двух гирь тяжелее, чем указать их примерный вес в граммах" [87,с.3]. Другими словами, использование объектов нечисловой природы - средство повысить устойчивость математических моделей реальных явлений. Сначала конкретные области статистики объектов нечисловой природы (а именно, прикладная теория измерений, нечеткие и случайные множества) были рассмотрены как частные постановки проблемы устойчивости математических моделей реальных явлений к допустимым колебаниям исходных данных и предпосылок модели [37,гл.3,4], а затем была понята необходимость проведения работ по развитию статистики объектов нечисловой природы как самостоятельного научного направления [84].
	Начнем со шкал измерения. "Науку о единстве мер и точности измерений называют метрологией" [88,с.5].Таким образом, репрезентативная теория измерений - часть метрологии [89]. "Методы обработки данных должны быть адекватны относительно допустимых преобразований шкал измерения в смысле репрезентативной теории измерений" [90 §4.1]. Однако установление типа шкалы, т.е. задания группы  - дело специалиста соответствующей прикладной области. Так, оценки привлекательности профессий мы считали измеренными в порядковой шкале. Однако отдельные социологи не соглашались с этим, считая, что выпускники школ пользуются шкалой с более узкой группой допустимых преобразований, например, интервальной шкалой. Очевидно, эта проблема относится не к математике, а к наукам о человеке. Для ее решения может быть поставлен эксперимент (достаточно трудоемкий), описанный в работе [38]. Пока же он не поставлен, целесообразно принимать порядковую шкалу, так как это гарантирует от возможных ошибок.
	"Другими известными примерами порядковых шкал являются: в медицине - шкала стадий гипертонической болезни по Мясникову, шкала степеней сердечной недостаточности по Стражеско-Василенко-Лангу, шкала степени выраженности коронарной недостаточности по Фогельсону; в минералогии - шкала Мооса (тальк - 1, гипс - 2, кальций - 3, флюорит - 4, апатит - 5, ортоклаз - 6, кварц - 7, топаз - 8, корунд - 9, алмаз - 10), по которому минералы классифицируются согласно критерию твердости; в географии - бофортова шкала ветров ("штиль", "слабый ветер", "умеренный ветер" и т.д.) [91, с. 329].
	По шкале интервалов измеряют величину потенциальной энергии или координату точки на прямой, на которой не отмечены ни начало, ни единица измерения; по шкале отношений - большинство физических единиц: массу тела, длину, заряд, а также цены в экономике. Время измеряется по шкале разностей, если год принимаем естественной единицей измерения, и по шкале интервалов в общем случае. В процессе развития соответствующей области знания тип шкалы может меняться. Так, сначала температура измерялась по порядковой шкале (холоднее - теплее), затем - по интервальной (шкалы Цельсия, Фаренгейта, Реомюра) и, наконец, после открытия абсолютного нуля температур - по шкале отношений (шкала Кельвина) [89]. Следует отметить, что среди специалистов иногда имеются разногласия по поводу того, по каким шкалам следует считать измеренными те или иные реальные величины [37, 39, 40, 63, 89]. Термин "репрезентативная" разъяснен в работах [37, 39, 40]. Он использовался, чтобы отличить рассматриваемый подход к измерениям от классической метрологии [88], от работ А.Н.Колмогорова и А.Лебега, связанных с измерением геометрических величин (например, [92])., от "алгоритмической теории измерения" [93] и др.
	Необходимость использования в математических моделях реальных явлений таких объектов нечисловой природы, как бинарные отношения, множества, нечеткие множества, кратко была показана выше. Здесь же обратим внимание, что используемые в классической статистике результаты наблюдений также "не совсем числа". Именно любая величина измеряется всегда с некоторой погрешностью и результатом наблюдения является

	Погрешностями измерений занимается метрология [88].Отметим справедливость следующих фактов:
	а) для большинства реальных измерений невозможно полностью исключить систематическую ошибку:  ;
	б) распределение не всегда является нормальным [94];
	в)  и  обычно нельзя считать независимыми случайными величинами;
	г) распределение погрешностей оценивается по результатам случайных наблюдений, следовательно, полностью известным считать его нельзя; зачастую исследователь располагает лишь границами для систематической погрешности и оценками таких характеристик для случайной погрешности, как дисперсия или размах.
	Приведенные факты показывают ограниченность области применимости модели погрешностей, в которой  и  рассматриваются как независимые случайные величины, причем  имеет нормальное распределение с нулевым математическим ожиданием.
	Строго говоря, результаты наблюдения всегда имеют дискретное распределение, поскольку описываются числами с небольшими (1 - 5) числом значащих цифр. Возникает дилемма: либо признать, что непрерывные распределения - фикция, и прекратить ими пользоваться, либо считать, что непрерывные распределения имеют "реальные" величины , которые мы наблюдаем с принципиально неустранимой погрешностью . Первый выход в настоящее время нецелесообразен, так как потребует отказаться от большей части разработанного математического аппарата. Из второго следует необходимость изучения влияния неустранимых погрешностей на статистические выводы.
	Погрешности  можно учитывать либо с помощью вероятностной модели (- случайная величина, имеющая функцию распределения, вообще говоря, зависящую от ), либо с помощью нечетких множеств. Во втором случае приходим к теории нечетких чисел, развитой П.Б.Шошиным [95] с целью описания поведения человека, и к интервальной статистике [9, 13, 19 - 25, 96 - 101].
	Другой источник появления  связан с принятой в конструкторской и технологической документации системой допусков на контролируемые параметры изделий и деталей, с использованием шаблонов при проверке контроля качества продукции. В этих случаях характеристики  определяются не свойствами средств измерения, а применяемой технологией проектирования и производства. В терминах математической статистики сказанному соответствует группировка данных, при которой мы знаем, какому из заданных интервалов принадлежит наблюдение, но не знаем точного значения результата наблюдения. Применение группировки может дать экономический эффект, поскольку зачастую легче (в среднем) установить, к какому интервалу относится результат наблюдения, чем точно измерить его.

Объекты нечисловой природы как результат статистической обработки данных.

	Объекты нечисловой природы появляются не только на "входе" статистической процедуры, но и в процессе обработки данных, и на "выходе" в качестве итога статистического анализа.
	Рассмотрим простейшую прикладную постановку задачи регрессии. Данные имеют вид . Цель состоит в том, чтобы с достаточной точностью описать как полином от , т.е. модель имеет вид
 , 			(5)
 где  - неизвестная степень полинома;  - неизвестные коэффициенты многочлена; ,  - погрешности, которые для простоты примем независимыми и имеющими одно и то же нормальное распределение. Распространенная процедура такова [102]: сначала пытаются применить модель (5) для линейной функции (  = 1), при неудаче переходят к многочлену второго порядка ( = 2), если снова неудача, то берут модель (5) с = 3 и т.д. (адекватность модели проверяют по F-критерию Фишера).
Обсудим свойства этой процедуры в терминах математической статистики. Если степень полинома задана ( = ), то его коэффициенты оценивают методом наименьших квадратов, свойства этих оценок хорошо известны (см., например, [62, гл.26}). Однако в описанной выше реальной постановке  тоже является неизвестным параметром и подлежит оценке. Таким образом, требуется оценить объект , ., множество значений которого можно обозначить  Это - объект нечисловой природы, обычные методы оценивания его неприменимы, так как  - дискретный параметр. В рассматриваемой постановке методы оценивания носят в основном эвристический характер {103, гл.12}. Свойства  описанной выше распространенной процедуры рассмотрены в работе {104}; в которой показано, что m при этом оценивается несостоятельно (см. также .{14,18}).
	В более общем случае линейной регрессии данные имеют вид , где - вектор предикторов (объясняющих переменных), а модель

			(6)
 ( - некоторое подмножество множества ;- те же, что и в модели (5);  - неизвестные коэффициенты при предикторах с номерами из {103]). Модель (5) сводится к модели (6), если
.,

	В модели (5) есть естественный порядок ввода предикторов в рассмотрение - в соответствии с возрастанием степени, а в модели (6) естественного порядка нет, поэтому здесь стоит произвольное подмножество множества предикторов. Есть только частичный порядок - чем мощность подмножества меньше, тем лучше. Модель (6) особенно актуальна в задачах управления качеством продукции, в медицине и социологии, когда из большого числа факторов, предположительно влияющих на изучаемую переменную, надо отобрать по возможности наименьшее число значимых факторов и с их помощью сконструировать прогнозирующую формулу (6).
	Задача оценивания модели (6) разбивается на две последовательные задачи: оценивание множества - подмножества множества всех предикторов, а затем - неизвестных параметров . Методы решения второй задачи хорошо известны и изучены. Гораздо хуже обстоит дело с оцениванием объекта нечисловой природы . Существующие методы  [103] - в основном эвристические, они зачастую не являются даже состоятельными. Понятие состоятельности в данном случае требует определения. Пусть - истинное подмножество предикторов, т.е. подмножество, для которого справедлива модель (6), а подмножество предикторов  - его оценка. Оценка  является состоятельной, если
,
где  - знак симметрической разности множеств;  означает число элементов в множестве , а предел понимается в смысле сходимости по вероятности.
	Задача оценивания в моделях регрессии, таким образом, разбивается на две - оценивание структуры модели и параметров при заданной структуре. в модели (5) структура описывается неотрицательным целым числом , в модели (6) - множеством . Структура - объект нечисловой природы. Задача ее оценивания сложна, в то время как задача оценивания численных параметров при заданной структуре хорошо изучена, разработаны эффективные ( в смысле математической статистики) методы.
	Такова же ситуацию в факторном анализе (включая метод главных компонент) и многомерном шкалировании [38]. Ряд других примеров можно найти в списке оптимизационных постановок основных проблем прикладного многомерного статистического анализа [91].
	Перейдем к объектам нечисловой природы на "выходе" статистической процедуры. Примеры многочисленны. Разбиения - итог работы многих алгоритмов классификации, в частности алгоритм кластер-анализа. Ранжировки - результат упорядочения профессий по привлекательности, автоматизированной обработки мнений экспертов - членов комиссии по подведению итогов конкурса научных работ [105] или итогов конкурса по решению задач в Вечерней математической школе [106]. (В двух последних случаях используются ранжировки со связями; так, в одну группу, наиболее многочисленную, попадают работы, не получившие наград.) Из всех объектов нечисловой природы, видимо, наиболее часты на "выходе" дихотомические данные - принять или не принять гипотезу, в частности принять или забраковать партию продукции [58]. Дихотомические данные используются научными исследованиями [46]. Результатом статистической обработка данных может быть множество, например зона наибольшего поражения [107], или последовательность множеств, например "среднемерное" описание распространения пожара [68]. Нечетким множеством Э.Борель [55] предлагал описывать представление людей о числе зерен, образующем "кучу". С помощью нечетких множеств формализуются значения лингвистических переменных, выступающих как итоговая оценка качества систем автоматизированного проектирования, сельскохозяйственных машин [108], бытовых газовых плит [109], надежности программного обеспечения [110, 111] или систем управления. Можно констатировать, что все виды объектов нечисловой природы могут появляться " на выходе" статистического исследования.

1.Орлов А.И. Устойчивость в социально-экономических моделях.-М.Наука,1979.-296 с.
2.Орлов А.И. Экспертные оценки / Вопросы кибернетики. Вып.58.-М.: Научный Совет СССР по комплексной проблеме "Кибернетика", 1979.С.17-33.
3.Орлов А.И. / Тезисы докладов Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике: Том 2.-Вильнюс, Вильнюсский госуниверситет, 1985.С.278-280.
 4.Орлов А.И. / Анализ нечисловой информации в социологических исследованиях.-М.Наука, 1985.С.58-92. 
5.Орлов А.И. / Статистика. Вероятность. Экономика.-М.Наука,1985. С.99-107. 
6.Орлов А.И. / Заводская лаборатория. 1987.Т.58. N3.С.90-91. 
7.Орлов А.И. /Надежность и контроль качества. 1987.N6.С.54-59. 
8.Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики.- М.:ВНИИС,1987.-64 с.
9.Кривцов В.С., Фомин В.Н., Орлов А.И. / Стандарты и качество. 1988.N3.С.32-36. 
11.Колмогоров А.Н. Статистический приемочный контроль при допустимом числе дефектных изделий, равном нулю. - Л.: ДНТП, 1951. - 22 с. 
12. Гнеденко Б.В. Математика и контроль качества продукции.- М.: Знание, 1978. - 64 с. 
13. Беляев Ю.К. Вероятностные методы выборочного контроля.-М.: Наука, 1975. - 408 с.
14. Лумельский Я.П. Статистические оценки результатов контроля качества. - М.: Из-во стандартов, 1979. - 200 с.  
15. Орлов А.И. Современные проблемы кибернетики: Прикладная статистика. - М.: Знание, 1981. с 3-14. 
16. Статистические методы анализа экспертных оценок / Ученые записки по статистике, т. 29, -М.: Наука, 1977-384 с. 17.
17.Экспертные оценки в системных исследованиях / Сборник трудов. - Вып. 4. - М.: ВНИИСИ, 1970 - 120 с. 
18. Экспертные оценки / Вопросы кибернетики. - Вып. 58. - М.: Научный Совет АН СССР по комплексной проблеме / "Кибернетика". 1979. - 200 с. 
19. Экспертные оценки в задачах управления / Сборник трудов. - М.: Институт проблем управления. 1982. - 106 с. 
20. Анализ нечисловых данных в системных исследованиях / Сборник трудов. - Вып. 10. - м.: ВНИИСИ. 1982. 
21. Методы анализа данных, оценивания и выбора / Сборник трудов. - Вып. 11. - М.: ВНИИСИ. 1984. - 92 с. 
22. Методы анализа данных, оценивания и выбора в системных исследованиях. / Сборник трудов. Вып.14. - М.: ВНИИСИ. 1986. - 124 с.
23. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И. и др. / Заводская лаборатория. 1980. т. 46. N 10. С. 931-935. 
24. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И. и др. Анализ нечисловой информации / Препринт. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика". 1981. - 80 с. 
25. Миркин Б.Г. Проблема группового выбора. - М.: Наука, 1974. 256 с. 
26. Миркин Б.Г., Родин С.Н. Графы и гены. - М.: Наука. 1977. - 240 с. 
27. Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика. 1980. - 319 с. 
28. Миркин Б.Г. Группировки в социально-экономических исследованиях: Методы построения и анализа. - М.: Финансы и статистика. 1985. - 223 с. 
29. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. - Новосибирск; Наука. 1981. - 160 с. 
30. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь. 1982. - 184 с. 
31. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. / Тезисы докладов. - М. - Алма-Ата: ВИНИТИ, 1981. - 439 с. 
32. Вторая Всесоюзная конференция по анализу нечисловой информации. / Тезисы докладов. - М.: Таллинн: ВИНИТИ, 1984. - 348 с. 
33. Орлов А.И., Рыданова Г.В. / Программно-алгоритмическое обеспечение анализа данных в методико-биологических исследованиях / Материалы I Всесоюзной школы-семинара. - Пущино: Научный центр биологических исследований АН СССР, 1986. - С. 61-71. 
34. Кендалл М.Дж., Стъюарт А., Статистические выводы и связи. М.: Наука, 1973. - 899 с. 
35. Карапетян К.А., Чахмахнян А.А. / Тезисы докладов Второй Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа" / Т. II. - М.: ЦЭМИ АН СССР. 1983. - С. 10-18. 
36. Фоменко А.Г. // Проблемы устойчивости статистических моделей / Труды семинара. - М.: ВНИИСИ. 1984. - С.154-177. 
37. Орлов А.И. / Теория вероятностей и ее применения. 1978. Т. XXIII. N 2 . С. 462-464. 
38. Gini C., Galvani L. / Metron. 1929. V. VIII. N 1-2. 
39. Джини К. Средние величины. - М.: Статистика. 1970. - 556 с. 
40. Kemeny J. / Pacif. J. Math . 1959. V.9. N 4. P. 1179-1189. 
41. Kemeny J. / Daedalus. 1959. V. 88. P. 571-591. 
42. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с. 
43.Воробьев О.Ю., Валендик Э.Н. Вероятностное множественное моделирование распространения лесных пожаров. - Новосибирск: Наука, 1978. - 160 с. 
44. Математическая энциклопедия. т. 1-5. - М.: Советская энциклопедия, 1977-1985. 
45. Молодцов Д.А. Устойчивость принципов оптимальности. - М.: Наука. 1987. - 280 с.
46. Орлов А.И. // Анализ нечисловых данных в системных исследованиях / Сборник трудов. - Вып. 10. - М.: ВНИИСИ, 1982. - С. 4-12. 
47. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. - М.: Финансы и статистика. 1983. - 472 с. 
48. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей. - М.: Статистика, 1980. - 208 с. 
49. Хьюбер П. Робастность в статистике. - М.: Мир. 1984. - 304 с. 
50. Устойчивые статистические методы оценки данных. - М.: Машиностроение. 1984. - 230 с.
51. Мудров В.И., Кушко В.Л. Методы обработки измерений: Квазиправдоподобные оценки. - М.: Радио и связь, 1983. - 304 с. 
52. Wald A. / Ann. Math. Statist. 1949. V. 20. P. 595-601. 
53. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. - М.: Наука, 1979. - 528 с. 
54. Боровков А.А. Математическая статистика. - М.: Наука,1984. - 472 с. 
55. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н.Вапника. - М.: Наука, 1984. - 816 с. 
56. Орлов А.И. /Прикладная статистика. - М.: Наука, 1983. С. 12-40. 
57. Ченцов Н.Н. Статистические решающие правила и оптимальные выводы. - М.: Наука, 1972. - 520 с. 
58. Деврой Л., Дьерфи Л.Непараметрическое оценивание плотности: L1-подход. - М.: Мир, 1988. - 408 с. 
59. Яковлев С.А. /Журнал вычислительной математики и математической физики. 1984. Т. 24. N 4. С. 587-598. 
60. Орлов А.И./ Доклады АН СССР. 1974. Т. 219. N 4. С. 808-811. 
 61.Фрумкина Р .М. Цвет, смысл, сходство Ж  Аспекты психодингвийского анализа.-М.:Наука,1984,-176 с.
 62. Суппес П., Зинес Дж. / Психологические измерения. - М.: Мир, 1967. С. 9-110. 
63. Пфанцагль И. Теория изменений. - М.:Мир, 1976. - 165 с.  
 64. Абчук В., Пухначев Ю. / Наука и жизнь. 1984. N 9. С. 80-85. 
 65. Абчук В.А. Правила удачи. - Л.: Детская литература,1986. - 128 с. 
66. Орлов А.И. / Многомерный статистический анализ в социально-экономических исследованиях. - М.: Наука, 1974. С. 388-393. 
67. Колмогоров А.Н. Избранные труды.: Математика и механика. - М.: Наука, 1985. С. 136-138. 
68. Орлов А.И. / Математические заметки. 1981. Т. 30. N 4. С. 561-568. 
69. Толстова Ю.Н. / Социологические исследования. 1978. N 3. С. 178-184. 
70. Толстова Ю.Н. / Экономика и математические методы. 1978. Т. XIV. N 3. С. 598-603. 
71. Высоцкий В.С. / Прикладной многомерный статистический анализ. - М.: Наука, 1978. С. 348-351. 
72. Мешалкин Л.Д. / Статистические методы анализа экспертных оценок. - М.: Наука, 1977. С. 215-219. 
73. Глинчев А.В. и др. прикладные вопросы квалиметрии. - М.: Издательство стандартов. 1983. - 212 с. 
74. Подиновский В.В. / Тезисы докладов I Всесоюзного совещания по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. - М. - Алма-Ата; ВИНИТИ. 1981. С. 142-143. 
75. Зованов Н.В. Математические основы теории шкал измерения качества. - Л.: Изд-во ЛГУ, 1982, - 185 с. 
76. Витяев Е.Е., Москвитин А.А. / Методы анализа данных: Вычислительные системы. Т. III . - Новосибирск: ИМ СО АН СССР, 1985. С. 28-58. 
77. Котов В.Н. Применение теории измерений в биологических исследованиях. - Киев: Наукова думка, 1985. - 98 с. 
78. Кендалл М. Ранговые корреляции. - М.: Статистика, 1975.- 216 с.
79. Тюрин Ю.Н., Шмерлинг Д.С. / Заводская лаборатория. 1985. Т.51. N 7. С. 42-48. 
80. Маамяги А.В. Некоторые задачи статистического анализа классификаций. - Таллинн; АН ЭССР. 1982. - 24 с. 
81. Феллер В. Введение теорию вероятностей и ее приложения Том. 1.-М.: Мир, 1984. 528 с. 
82. Орлов А.И. / Экспертные оценки в задачах управления. - М.: ИПУ, 1982. - С. 58-66. 
83. Орлов А.И. / Алгоритмическое и программное обеспечение прикладного статистического анализа. -М.: Наука, 1980. С. 287-308. 
84. Дылько Т.Н. / Вестник Белорусского государственного ун-та / Сер. 1: физика, математика и механика. 1988, N 2. С. 36-40.
85. Раушенбах Г.В., Заславский А.А. / Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях / / Материалы 1 Всесоюзной школы-семинара. - Пущино: НЦБИ, 1986. С. 126-141. 
86. Сердобольский В.И., Орлов А.И. / Тезисы докладов III Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа". - М.: ЦЭМИ АН СССР, 1987. С. 151-160. 
87. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978.- 144 с.
88. Шмерлинг Д.С. и др. /Статистические методы анализа экспертных оценок. - М.: Наука, 1977. С. 290-382. 
89. Сатаров Г.А., Шмерлинг Д.С. /Экспертные оценки в задачах управления. - М.: ИПУ, 1982. С. 67-79. 
90.Шмерлинг Д.С. Разработка и исследование ранговых методов анализа информации для задач упорядочения элементов сложных систем /Автореф. дисс. канд. физ.-мат. наук - М.:ВНИИСИ, 1982 -21с. 
91. Тюрин Ю.Н. Непараметрические методы статистики. - М.: Знание, 1978 - 64 с. 
92. Кендалл М.:, Моран П. Геометрические вероятности - М.: Наука, 1972 - 192с. 
93. Матерон Ж. Случайные множества и интегральная геометрия М.Мир, 1978 -318с.
94. Ляшенко Н.Н. / Прикладная статистика - М.: Наука, 1983. с.4-59. 
95. Ковязин С.А. / Матем. статистика и ее прилож. / Вып. 9- Томск, 1983 с.94-102.
96. Воробьев О.Ю. Среднемерное моделирование - М.: Наука, 1984 - 136с. 
97. Zadeh L.A./ Inform. Control. 1965.V.8.Р. 338-353. 
98.Язенин А.В. Некоторые методы теории нечетных подмножеств в многокритериальных задачах с приложениями / Афтореф. дисс. канд. техн. наук, - Рига: Рижский политехнический ин-т, 1982. - 22с. 
99. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. - 168 с. 
100. Нечеткие множества и теория возможностей. Последние достижения: Пер. с англ. / Под ред. Р.Р. Ягера. - М.: Радио и связь, 1986. - 408с. 
101. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А. Поспелова . - М.: Наука, 1986. - 312 с. 
102. Орлов А.И. /Наука и жизнь. 1982.N 7. с.60-67. 
103. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64с. 
104. Feron R./ Publications Econometrigues. 1976.V.IX.F.I.P. 25-64. 
105. Лапидус В.А. Гибкие методы статистического контроля надежности и качества. Ч. II.-М.: Знание, 1985.- 128 с. 
106. Терехина А.Ю. Анализ данных методами многомерного шкалирования.-М.- Наука, 1986. - 168 с. 
107. Мазур В.О., Юровский А.Ю. / Тезисы докладов V международной Вильнюсской конференции по теории вероятностей и математической статистике. Т. 3. - Вильнюс: Вильнюсский госуниверситет. 1989. С. 3-4. 
108. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. - Л.: Наука, 1983. - 176с. 
109. Раушенбах Г.В. / Анализ нечисловой информации в социаологических исследованиях . - М.: Наука, 1985. с.169-203. 
110. Орлов А.И. /Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. - М.: Наука, 1987. с.27-40. 
111. Орлов А.И. / Алгоритмическое и программное обеспечение прикладного статистического анализа. - М.: Наука, 1980. с.92-99. 
112. Статистические методы оценивания и проверки гипотез// Межвуз. сб. научн. трудов. - Пермь:Пермский ун-т, 1988. с.45-55. 
113.Орлов А.И./ Прикладная статистика. - М.:Наука, 1983. - с.260-265. 
114. Гнеденко Б.В., Орлов А.И./ Заводская лаборатория. 1988. Т.54. N 1 .с.1-4. 
115. Трофимов В.А. Модели и методы качественного факторного анализа матриц связи. Автореферат... канд. техн. наук. - Новосибирск, Ин-т математики СО АН СССР, 1982.-18с. 
116. Шмерлинг Д.С. Разработка и исследование ранговых методов анализа информации для задач упорядочения элементов сложных систем. Автореф. ... канд. физ.-мат. наук. - М.:ВНИИСИ, 1982. - 21с. 
117. Рыданова Г.В. Некоторые вопросы статистического анализа случайных бинарных векторов: Автореф. дис.канд.физ.-мат. наук.- М. 1988.-16 с.
118.Шер А.П. Исследование тестовых методов диагностики и разработка на их основе алгоритмов обработки океанологической информации для задач рыбопромыслового прогнозирования: Автореф. дис. канд. техн. наук. - Владивосток, 1984.- 19 с.
119.Пярна К.А. Оптимальное разбиение метрического вероятностного пространства: Автореф. дис. канд. физ.-мат. наук. Вильнюс, 1987. - 20 с.
120. Бобров Н.Е., Лумельский Я.П.  Заводская лаборатория. 1985 Т. 51 №1. с. 42-46
121.Тюрин Ю.Н., Шмерлинг Д.С. : Заводская лаборатория. 1985 Т. 51 №7. с. 42-48.
122.Лумельский Я.П.  Заводская лаборатория. 1986 Т. 52 №7. с. 41-43.
123.Комиссарчик В.Ф.Авербух Е.А.: Заводская лаборатория. 1986.Т.52.№7.С.43-46.
124.Липовецкий С.С. Заводская лаборатория. 1987.Т.53.№1.С.53-57.
125.Горелова Н.Г.,Хиценко В.Е., Хиценко В.П.: Завуодская лаборатория.1987..Т.53.№3.С.59-62.
126.Вощиинин А.П.: Заводская лаборатория.1987.Т.53.№7.С.45-48.
127.Лбов Г.С.,Старцева Н.Г. Заводская лаборатория. 1988. Т.54. №1. С.72-75.
128.Демидович Н.О.,Курский И.Ю. Заводская лаборатория. 1988. Т.54. №3. С.95-98.
129.Воинов В.Г.,Никулин М.С. Заводская лаборатория. 1988. Т.54. №7. С.88-94.
130.Авербух Е.А. Заводская лаборатория. 1988.Т.54.№7.С.104-108.
131.Логинов Э.А., Лгинов В.Э. Заводская лаборатория. 1989.Т.55.№1. С.87-91.
132.Глазунов А.В., Лапидус В.А. Заводская лаборатория. 1989.Т.55. №3. С.85-89.
133.Лапига А.Г.,Поляков В.В. Заводская лаборатория. 1989.Т.55. №5. С.89-92.
134.Назаренко И.А., Сухан В.В., назаренко А.Ю. Заводская лаборатория. 1989. Т.55.№5. С.95-97. 
135.Цибель Н.А. Заводская лаборатория. 1989.Т.55. №7.С.88-94.
136.Вощинин А.П.,Бочков А.Ф.,Сотиров Г.Г. Заводская лаборатория. 1990.Т.56.С.76081.
137.Бородюк В.П. Заводская лаборатория. 1990.Т.56.№7.С.81-83.
138.Демиденко Е.З. Заводская лаборатория. 1990.Т.56.№7.С.83-84.
139. Лецкий Э.К. Заводская лаборатория. 1990.Т.56.№7.С.84-86.
140.Орлов А.И. Заводская лаборатория. 1990.Т.56.№7.С.86-89.
141.Легостаева И.Л. Заводская лаборатория. 1990.Т.56.№7.С.90-93.
142.Кузнецов В.П. Заводская лаборатория. 1990.Т.56.№7.С.93-95.
143.Миркин Б.Г. Заводская лаборатория. 1990.Т.56.№10.С.73-78.
144.Корхин А.С. Заводская лаборатория. 1991.Т.57.№5.С.61-66.
145.Назаренко А.Ю. ,Сухан В.В. ,Назаренко И.А.: Заводская лаборатория. 1991. Т.57. №10. С.63-65.
146.Мирвалиев М., Никулин М.С. Заводская лаборатория. 1992. Т.58.№3.С.52-58.
147.Кутенков Р.П., Коростелев В.Г. Заводская лаборатория. 1992. Т.58.№5.С.50-54.
148.Гиль Л.Р., Лумельский Я.П. Заводская лаборатория. 1992. Т.58.№10.С.51-55.
149.Волков Н.Г., Ерофеева С.Ю. Заводская лаборатория. 1992. Т.58.№10.С.59-62.
150.Орлов А.И. Заводская лаборатория. 1992. Т.58.№10.С.62-63.
151.Шубкин В.П. Социологическиее опыты.-М.: Мысль,1970.-256 с.
152.Щукина Г.И. Проблема познавательного интереса в педагогике. - М.Педагогика,1971.-352 с.
153.Пфанцагль И.Теория измерений. - М.Мир,1976.-166 с.
154.ГОСТ 23554.2-81. Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции. -М. Изд-во Стандартов, 1981.
155.Березин Ф.Б., Мирошниченков М.П. Рожанец Р.М. Методика многостороннего обследования личности в клинической медецине и психогигиене. -М. Изд-во Стандартов, 1981.
156.Раушенбах Г.В.,Филлипов О.В. Экспертные оценки в медецине. -М.: ВНИИМИ, 1983.-83 с.
157.Фрумкина Р.М. Цвет, смысл, сходство: Аспекты психодингвистического анализа. -М.Наука, 1984. -176 с.
158.Кендалл М.Ранговые корреляции. - М.:Статистика,1975. - 216 с. 1
159.Скорняков Л.А. / Математическая энциклопедия.Т.4.-М.: Советская энциклопедия,1984. - С.505. 
160.Шрейдер Ю.А. Равенство,сходство,порядок.-М.Наука.1971.-256 с. 
161.Борель Э.Вероятность идостоверность. - М.: ГИФМЛ, 1961г.
- 120 с.
162.Зиман Э., Бьюнеман О. - В кн.: На пути к теоретической биологии.- М.Мир,1970.С.43-82.
163.Беляев Ю.К. Вероятностные модели выборочного контроля.
-М.:Наука, 1975.С.- 408 с.
164.Колмогоров А.Н./Известия АН СССР. Сер.математика.1950. Т.14. N.4, С.303- 326. 
165. Айвазян С.А. / Экономика и математические методы. 1977. Т.13. N.5. С.968-985. 
166.Матерон Ж. Случайные множества и интегральная геометрия. - М.:Мир, 1978. -320 С. 
167.Ковязин С.А./Препринты NN 18,20.Красноярск : ВЦ СО АН СССР, 1982. -24 с; 26 с. 
168.Аркин В.И., Евстигнеев И.В. Вероятностные модели управления и экономической динамики. М.: Наука, 1979. - 176 с. 
169.Кендалл М.,Моран П. Геометрические вероятности. -М.:Наука, 1972. - 176 с. 
170.Zadeh L.A. / Inform.Control. 1965. V.8. P.338-353. 
171.Заде Д. Понятие лингвистической переменной и его применение к принятию приближенных решений.-М.Мир. 1976. - 168 с. 172.Орловский С.А. Проблемы принятия решений при нечеткой исходности информации. -М.:Наука, 1981. - 208 с. 
173.Кузьмин В.Б. Построение групповых решений в пространствах четких и нечетких бинарных отношений. -М.Наука, 1982. - 168 с. 174.Борисов А.Н., Алексеев А.В., Крумберг О.А. и др. Методы принятия решений на основе лингвистической переменной. - Рига, Зинатне, 1982. - 264 с. 
175.Аверкин А.Н.,Батыршин И.З.,Блищун А.Ф. и др. Нечеткие множества в моделях управления и искусственного интеллекта. - М.: Наука, 1986. - 312 с. 
176.Борисов А.Н.,Алексеев А.В.,Меркурьева Г.В. и др. Обработка нечеткой информации в системах принятий решений. -М.:Радио и связь., 1989. -304 с. 
177. Орлов А. И./ Заводская лаборатория. 1990 Т. 56 №3. с. 76 -83.
178. Тюрин Ю. Н., Литвак Б. Г., Орлов А. И. и др./ там же. 1980 Т46 №10 с. 931-935.